Это три типа механизмов пропусков в данных — и от понимания того, какой из них у вас, зависит, как правильно обрабатывать пропущенные значения.
🔍MCAR (Missing Completely at Random) Пропуски появляются совершенно случайно — не зависят ни от наблюдаемых, ни от ненаблюдаемых переменных.
📌 Пример: датчик случайно перестал записывать температуру из-за сбоя связи. ✅ Что делать: удаление строк или простая импутация — допустимо, модель почти не искажается.
🔍MAR (Missing At Random) Пропуски зависят от других наблюдаемых признаков, но не от самого недостающего значения.
📌 Пример: доход клиента не указан, но это чаще бывает у молодых пользователей — и возраст у нас есть. ✅ Что делать: множественная импутация (Multiple Imputation), модели, учитывающие другие признаки, работают хорошо.
🔍MNAR (Missing Not At Random) Пропуски зависят от самого значения, которое пропущено. То есть в данных есть систематическая причина, скрытая внутри пропуска.
📌 Пример: люди с высоким доходом не указывают его в анкете — именно потому, что он высокий. ✅ Что делать: здесь простые методы не помогут. Часто требуется: — Моделировать механизм пропуска явно. — Включать индикаторы пропусков как отдельные признаки. — Использовать экспертные знания или специализированные байесовские подходы.
Это три типа механизмов пропусков в данных — и от понимания того, какой из них у вас, зависит, как правильно обрабатывать пропущенные значения.
🔍MCAR (Missing Completely at Random) Пропуски появляются совершенно случайно — не зависят ни от наблюдаемых, ни от ненаблюдаемых переменных.
📌 Пример: датчик случайно перестал записывать температуру из-за сбоя связи. ✅ Что делать: удаление строк или простая импутация — допустимо, модель почти не искажается.
🔍MAR (Missing At Random) Пропуски зависят от других наблюдаемых признаков, но не от самого недостающего значения.
📌 Пример: доход клиента не указан, но это чаще бывает у молодых пользователей — и возраст у нас есть. ✅ Что делать: множественная импутация (Multiple Imputation), модели, учитывающие другие признаки, работают хорошо.
🔍MNAR (Missing Not At Random) Пропуски зависят от самого значения, которое пропущено. То есть в данных есть систематическая причина, скрытая внутри пропуска.
📌 Пример: люди с высоким доходом не указывают его в анкете — именно потому, что он высокий. ✅ Что делать: здесь простые методы не помогут. Часто требуется: — Моделировать механизм пропуска явно. — Включать индикаторы пропусков как отдельные признаки. — Использовать экспертные знания или специализированные байесовские подходы.
The messaging service and social-media platform owes creditors roughly $700 million by the end of April, according to people briefed on the company’s plans and loan documents viewed by The Wall Street Journal. At the same time, Telegram Group Inc. must cover rising equipment and bandwidth expenses because of its rapid growth, despite going years without attempting to generate revenue.
Traders also expressed uncertainty about the situation with China Evergrande, as the indebted property company has not provided clarification about a key interest payment.In economic news, the Commerce Department reported an unexpected increase in U.S. new home sales in August.Crude oil prices climbed Friday and front-month WTI oil futures contracts saw gains for a fifth straight week amid tighter supplies. West Texas Intermediate Crude oil futures for November rose $0.68 or 0.9 percent at 73.98 a barrel. WTI Crude futures gained 2.8 percent for the week.
Библиотека собеса по Data Science | вопросы с собеседований from kr
